meta robotsタグ
<meta name="ロボット名" content="属性値"
↓
例：<meta name="googlebot" content="noindex"
すべてのクローラ：robots
Bingのクローラ：msnbotもしくはbingbot noindex：noindexを設定したページをインデックスに登録しない（検索結果に表示させない）ようにする nofollow：nofollowを設定することで、ページ内にあるすべてのリンク先のページをクローラに読み取らせないようにする